﻿ ESTIMAREA PRIN METODA CELOR MAI MICI PĂTRATE (LS) METODA CELOR MAI MICI PĂTRATE În capitolele precedente am căutat estimatori optimali sau asimptotic optimali, din categoria estimatorilor nedeplasaţi şi cu dispersie minimă (MVU) Pentru determinarea unor astfel de estimatori era necesară cunoaşterea densităţii de probabilitate a datelor sau măcar cunoaşterea momentelor de ordinul întâi şi doi ale acestora Ce putem face dacă nu avem aceste informaţii ? În astfel de cazuri, vom aplica metoda celor mai mici pătrate (Least Squares), care conduce la un estimator care nu are, în cazul general, proprietăţi de optimalitate asociate lui Se presupune că semnalul util urmează un model cunoscutşi se minimizează suma pătratelor erorilor dintre date şi modelul de semnal Ca urmare a modalităţii relativ simple de implementare, estimatorii bazaţi pe metoda LS sunt utilizaţi în mod frecvent 1 Se presupune că semnalul util s[n] are un model cunoscut dar că depinde de un parametru necunoscut, θ, ce trebuie determinat Semnalul util, s[n], aşa cum se arată în figură, este generat de un model (determinist), dependent de un parametru necunoscutθ Semnalul util generat, s[n], este determinist, dar el este afectat de un zgomot de observare precumşi de erorile cauzate de diferenţa dintre model şi realitatea fizică Acestea din urmă sunt erorile de model sau de modelare În consecinţă datele sunt aleatoare şi doar ele sunt accesibile măsurării Estimarea conform metodei celor mai mici pătrate, LS, va determina acea valoare a parametrului necunoscutθ care face ca semnalul să fie “cât mai apropiat” de datele măsurate Gradul de apropiere a semnalului util s[n] de datele x[n], este măsurată, în metoda celor mai mici pătrate, prin energia diferenţei dintre cele două semnale, ε[n], numităşi eroarea punctuală 2 1 Dependenţa de θ este realizată prin intermediul semnalului util, s[n] Valoarea parametrului θ ce minimizează energia integrală a diferenţei dintre cele două semnale, J(θ), este estimatorul LS Se vede că nu am făcut nici o ipoteză privind statistica datelor În consecinţă metoda LS este aplicabilă atunci când nu avem o caracterizare statistică a datelor x[n] sau în cazul în care estimatorul optimal nu se poate determina sau este prea complicat pentru a fi aplicat în practică 11NN−− 2 2 Jxn sn nθε=−= () [] [][] () ∑∑ 00nn== Pentru exemplificare, considerăm un semnal util de tip componentă continuă, A, căreia nu-i cunoaștem valoarea snA= [] Pentru a determina estimatorul LS al componentei continue, A, anulăm derivata, după A, a funcției 1N− 2 JAxnA=− () [] () ∑ 0n= adică 11NN−− dJ A () 2220xn A xn NA=− − =− + = [][] () ∑∑ 00nndA== 3Soluț ia ecuației este chiar estimatorul ML pentru componenta continuă, A 1N− 1 ˆ = [] ∑ LSAxn x= 0nN= Estimatorul LS pentru componenta continuă este media eşantion, indiferent de repartiţia statistică a datelor x[n] Estimatorul nu este, în cazul general, optimal în sensul MVU El minimizează doar eroarea LS Dacă xnAwn=+ [][] în care zgomotul w[n] este alb, gaussian, de medie nulă, estimatorul LS este în acelaşi timp şi estimator MVU *** Un alt exemplu este cel al semnalului util sinusoidal căruia nu i se cunoaște frecvența digitală cos 2 ; 0,1, , 1sn fn n Nπ==− [] 0 Determinarea estimatorului LS pentru frecvență impune minimizarea funcției 1N− 2 =− [] () () ∑ 00cos 2Jfxn fnπ 0n= Se anulează derivata funcțieiși se obține ecuația 1N− () 0dJ f π=− = [] () () ∑ 002cos2sin220xn fn fn nππ 0ndA= Fiind o ecuație neliniară, nu putem stabili o formulă pentru estimator Cu datele a estimatorului LS, așa disponibile, se poate face o determinare numerică4x cum am procedat pentru estimatorii ML 2 Dacă semnalul util este o funcţie liniară de parametrul necunoscut, atunci funcţia J este o funcţie de gradul doi, al cărui minim se determină uşor Se spune că un semnal ce depinde în mod liniar de parametrul necunoscut generează o problema liniară de cele mai mici pătrate În celelalte cazuri se generează probleme neliniare de cele mai mici pătrate Drept exemplu considerăm semnalul util sinusoidal de amplitudine necunoscută ==− [] 0cos 2 ; 0,1, , 1sn A fn n Nπ Se construiește funcția J și se anulează derivata ei 1N− 2 =− () [] () ∑ 0cos 2JAxnAfnπ 0n= 1N− dJ A () =−− = [] () ∑ 002 cos 2 cos 2 0xn A fn fnππ 0ndA= Ecuația se rezolvă ușor, deoarece este liniară în A 11NN−− 2 ˆ = [] ∑∑ 00cos 2 cos 2Afnxnfnππ 00nn== Dacă frecvența nu este foarte aproape de 0 sau 0 5 se poate scrie că 11 1NN N−− − + 201cos41fnNNπ ==+ ≅ ∑∑ ∑ 00cos 2 cos 4fn fnππ 00 0222 2nn n== = În final rezultă estimatorul LS pentru amplitudine 1N− 52ˆ = [] ∑ 0cos 2LSAxn fnπ 0nN= Ne vom ocupa de problema LS liniară, pentru care dependența semnalului util de parametrul necunoscut aste liniară, de forma ; 0,1, , 1sn hn n Nθ==− [][] în care h[n] este o funcție cunoscută iar parametrul necunoscutθ este o amplitudine Fucția ce trebuie minimizată are expresia 1N− 2 Jxn hnθθ=− () [] [] () ∑ 0n= După derivare și egalarea cu zero a derivatei 1N− dJθ () 20xn hn hnθ=−− = [] [][] () ∑ = 0ndθ Se obține estimatorul LS în această problemă liniară, oricare ar fi forma funcției h[n] 1N− xnhn [][] ∑ 0ˆn= θ= 1LSN− 2 hn [] ∑ 60n= 3 Ne interesează uneori minimul erorii medii pătratice Acest minim se obține substituind în funcția J estimatorul LS, care o minimizează 1N− 2 ˆˆ == − [] [] ()() ∑ minLSJJ xnhnθθ 0n= 1N− ˆˆ xn hn xn hnθθ =− − [] [][] [] ()() ∑ 0n= 11NN−− ˆˆ ˆ xnxn hn hnxn hnθθ θ=−− − [] [] [][] [] [] ()() ∑∑ 00nn== Din relația de minimizare avem 111NNN−−− 2 ˆˆ 0hn xn hn xnhn h nθθ −=−= [] [] [][][] [] () ∑∑∑ 000nnn== = Substituim expresia estimatorului LS și concluzia de mai sus în expresia minimului functiei J șiobținem 2 1N− ⎛⎞ xnhn [][] ⎜⎟ ∑ 1N− 02n= ⎝⎠ = − [] ∑ min1NJxn− 02n= hn ∑ 7[] 0n= Energiile semnalelor x[n]șih[n]sunt 11NN−− 22 xnhnεε== ; [] [] ∑∑ xh 00nn== Avem, pentru intercorelația acelorași semnale, expresia 1N− xnh nr= [][] ∑ xh 0n= Cu aceste notații energia minimă devine ⎡⎤ 22 ⎢⎥ ()() 2rrxh xh ⎢⎥ ⎡⎤ −−=−∈ εε ε== [] xx x min11; -1, 1Jρρ ⎣⎦ εεε ⎢⎥ xhh 2⎢⎥ ρ ⎣⎦ în care cu ρ s-a notat coeficientul de intercorelație dintre semnalele x[n] și h[n] Pentru exemplificare ne referim la semnalul componentă continuă, pentru care 1; 1; 0,1, , 1sn A hn n N=⋅ = = − [][] Înlocuind în relația energiei minime obținem 2 − 111NNN−− 2221⎛⎞ = − [][] [] ∑∑∑ ⎜⎟ minJxn xnxnNx−= 8N== 000nnn= ⎝⎠ 4 Reamintim inegalitatea Schwartz-Cauchy-Buniakovski 2 − 111NNN−− 22⎛⎞ xnhn x n h n≤ [][] [] [] ⎜⎟ ∑∑∑ = 000nnn== ⎝⎠ în care egalul are loc dacă şi numai dacă x[n]=ah[n] Se deduce imediat că 2 () 2rxh 01ρ≤=≤ εε xh În lipsa zgomotului coeficientul de corelaţie e 1 iar valoarea minimă a funcţiei J este zero, ceeace înseamnă că amplitudinea se determină “exact” Avem 1N− 2 ≤≤ = [] ∑ x min0Jxnε 0n= Metoda LS poate fi extinsă şi pentru cazul parametrului vector, pentru care =sHθ Estimatorul LS vector se determină minimizând funcţia 21TTN− Jxnsn=−=−−=−−θxs xs xHθ xHθ ()()()( )( ) [] [] () ∑ 0n= care poate fi pusă sub forma T T TT TT T T TT 92J =− − + =− +θxx xHθθHx θ HHθxx xHθθHHθ () Reamintim regulile de derivare pe care le-am mai utilizat TTT∂∂ ==; 2 , dacă =bθbθAθAθAA () () ∂∂θθ Aplicând regulile de3 derivare, se determină derivata funcţiei J sub forma θ () TTJ∂ +Hx HHθ 22=− ∂θ După anularea derivatei se obţin p ecuaţii, care au forma matriceală ˆTT =HHθHx Soluţia este estimatorul vector LS, formal identic cu estimatorul BLU 1− ˆTT =θHH Hx () LS Se poate determina, cu estimatorul LS stabilit, minimul funcţiei J T ˆˆˆ JJ==− −θxHθxHθ ()()() minLS T 11−− TT TT⎡⎤ ⎡⎤ =− −x HHH Hx x HHH Hx () () ⎢⎥⎢⎥ ⎣⎦⎣⎦ 11−− ⎡⎤ 10TT TTT⎡⎤ xI HHH H I HHH Hx −− () () uu= ⎢⎥⎢⎥ ⎣⎦⎣⎦ 5 Deoarece paranteza dreaptă este, aşa cum am arătat deja, o matrice idempotentă, acest minim al funcţiei se poate pune sub forma 1− ⎤ TTT⎡ −xI HHH Hx () minuJ= ⎢⎥ ⎣⎦ sau, în final ⎡⎤ 1− TTT⎢ ⎥ −xxHHH Hx () minJ= ⎢⎥ ˆ⎢ ⎥ θ ⎣⎦ ˆT⎡⎤ = xxHθ − ⎣⎦ Uneori forma LS liniară include o matrice de ponderare W de dimensiuni NxN T J=−−θxHθWx Hθ ()()() Un caz particular al matricei de ponderare, des utilizat în practică este forma diagonală ⎤ 000w⎡ ⎢⎥ 100w⎢ ⎥ = W ⎢⎥ ⎢⎥ 1100w 1N− ⎣⎦ Pentru exemplificare, vom considera cazul în care matricea de ponderare este diagonală Dacă semnalul util este s[n]=A, funcţia J devine 1N− 2 () [] () ∑ nJAwxnA=− 0n= O relaţie de această formă ne permite să ponderăm în mod diferit contribuţia eşantioanelor de semnal în expresia funcţiei J Fie că datele sunt de forma 2 xn A wn n N wnσ=+ = −∼N; 0,1, , 1; [ ]0, [][] () n eşantioanele de zgomot normal w[n] sunt necorelate dar au dispersii diferite Luând ca ponderi inversul dispersiilor, adică 2 1wσ= nn funcţia J şi derivata acesteia iau formele 11NN−− 211dJ A () ; 2JA xn A xn A= −=−− () [][] ()() 22∑∑ 00nnnndAσσ == Anulăm derivata şi obţinem estimatorul LS pentru parametrul necunoscut, A 11NN−− 1xn [] ˆ A= ∑ LS∑ 1222 σ 00nnnnσ == 6 Dacă matricea W este pozitiv definită, ea poate fi pusă sub forma unui produs T =WDD în care matricea D, de dimensiuni NxN, este inversabilă Funcţia J se poate pune sub forma TT T J⎡⎤=− − = − −θxHθDDx HθDx HθDx DHθ ()()()()( ) ⎣⎦ TT =− ' ' ' ' − =− −Dx DHθ Dx DHθxHθ xHθ ()()()() Dacă datele x se prelucrează prin multiplicare cu matricea D se obţin ′ ==+xDxDHθDw sau '' '=+xHθw Adaptând relaţia de estimare vectorială LS anterior stabilită avem 1− 1− ˆTTˆTT = →θHH Hx θHH Hx( '' ''= () LS LS) 1− TTT T =HDDH HDDx () 1− TT =13 HWH HWx () Se determină acum minimul funcţiei J 1− TTT⎡⎤ ''''''J=− xIHHH Hx () minu⎢⎥ ⎣⎦ 1− TTTT T T⎡⎤ =− () uxD I DHHDDH HD Dx ⎢⎥ ⎣⎦ 1− TT T TTTT⎡⎤ =− x D D D DH H D DH H D D x () ⎢⎥ ⎣⎦ 1− TTT⎡⎤ =− xWWHHWH HWx () ⎢⎥ ⎣⎦ 14 7 O interpretare geometrică a estimării LS Vom reexamina abordarea prin metoda LS liniară dând relaţiilor interpretări geometrice Modelul liniar corespunde semnalului s=Hθ Dacă notăm coloanele matricei H cu hi, coloanele fiind vectori, semnalul util poate fi pus sub forma: ⎡⎤ 1θ p⎢⎥ 2θ ⎢⎥ sHθ hh h h == = ⎡⎤ ∑ 12 1iiNθ − ⎣⎦ ⎢⎥ 1i= ⎢⎥ 1Nθ − ⎣⎦ Semnalul util este deci o combinaţie liniară a vectorilor de semnal, hi 15 Vom da ca exemplu analiza Fourier Vom presupune că în semnalul util, s[n], este prezentă o singură armonică, adică cos 2 sin 2 ; 0,1, , 1sn a fn b fn n Nππ=+ =− [] 00 Parametrii necunoscuţi, a şi b, sunt grupaţi în vectorul T ab=θ [] Cele N relaţii de legătură între eşantioanele semnalului util şi necunoscutele a şi b, se pot pune într-o formă matriceală 10⎡⎤ 0s⎡⎤ [] ⎢⎥ 00cos 2 sin 2ffππ ⎢⎥ ⎢⎥ 1sa⎡⎤ [] ⎢⎥ ⎢⎥ = ⎢⎥ b⎢⎥ ⎢⎥ ⎣⎦ cos 2 1 sin 2 1fN fNππ −− () () 00⎢⎥ ⎢⎥ 1sN− [] ⎣⎦ ⎢⎥ 16hh 12⎣⎦ 8 Cei doi vectori coloană din structura matricei H sunt T h =− ⎡⎤ () 10 01 cos 2 cos 2 1ffNππ ⎣⎦ T h =− ⎡⎤ () 2000 sin 2 sin 2 1ffNππ ⎣⎦ Vectorul de semnal util, s, se poate exprima şi printr-o combinaţie liniară a celor doi vectori coloană, prin +sh h 12ab= Pentru un vector oarecare, ξ, având N componente T ξ= ξ ⎡⎤ 12Nξξ⎣⎦ pătratul normei şi lungimea sa euclidiană se calculează cu relaţiile NN 222TT ξξ== = =ξξξ ξ ξξ; ∑ iii∑ 11ii== Eroarea pătratică, J, ca energie a diferenţei dintre datele x şi modelul de semnal util, s=Hθ se poate pune sub forma 2 N 2 Jθ==θxHθ xh () ii∑ 17 1i= Abordarea LS liniară impune minimizarea pătratului unei distanţe de la vectorul de date x la un vector de semnal util s=Hθ, o combinaţie liniară a coloanelor matricei H Vectorul x este un vector în spaţiul real N-dimensional Vectorii de semnal util posibili suntp-dimensionali, p<N Ei se află în spaţiul real, p- dimensional, subîntins (generat) de vectorii {h1,h2,…,hp} Am admis că matricea are rangulpşi deci hisunt vectori liniar independenti, ei generând un spaţiu p-dimensional În figură se ilustreză cazul N=3 şi p=2 Este evident că vectorul estimator LS al semnalului util, care are distanţa minimă - în sens euclidian – la vectorul x este proiecţia ortogonală a lui x pe subspaţiul bidimensional, 18 subîntins de vectorii h1ş i h2 9 Vectorul eroare ˆ= −ε xs este, în consecinţă, ortogonal pe subspaţiul bidimensional 23 S ⊂ şi deci pe orice vector din subspaţiul bidimensional Reamintim că doi vectori, ξşi η, sunt ortogonali, dacă produsul lor scalar este nul T =⇔⊥ξηξη0 Pentru cazul din figură 2 ˆˆ ˆ ş −⊥ ⇔ −⊥ −⊥xs S xs h xs hi timp 12i, în acelaş Relaţia de mai sus este echivalentă cu relaţiile TT ˆˆ0; 0− =−=xsh xsh () () 12 Cele două relaţii de mai sus pot fi puse sub o formă matriceală T ˆ xHθ hh ⎡⎤ [] () 1200−= ⎣⎦ Cu notaţiile matriceale uzuale obţinem T ˆT −=xHθ H0 19( ) Efectuăm produsul şi obţinem ecuaţia ˆTT −=Hx HHθ0 a cărei soluţie este estimatorul LS pentru parametrul vector 1− ˆTT θHH Hx () LS= Vectorul de eroare, ε, se poate pune sub forma ˆ ˆ−= =xs xHθε − cu care relaţia de ortogonalitate devine TT ; 1, 2, ,ip⇔⇔ ==⊥⊥H0 Hεεεh i Energia minimă a diferenţei dintre date şi modelul de semnal se poate calcula cu relaţia 2T 2 ˆˆ ˆ =−==xHθxHθxHθε ()() minJ−− ˆˆ ˆTT TT T TTT −=− ==−xHθ xHθ xxθ Hxεε ε ε ε ε == () ( ) 11−− TT T T T T T⎡⎤ ⎡⎤ −xxHHHHxxIHHHHx =− () () u = ⎢⎥⎢⎥ ⎣⎦⎣⎦ 20 10 În concluzie, abordarea LS poate fi interpretată ca fiind o problemă de aproximare a unui vector de date x, dintr-un spaţiu N dimensional, printr-un vector s ce este o combinaţie liniară a p vectori hicare fac parte dintr-un subspaţiu, cu dimensiunea p, unde p<N Problema se rezolvă alegând pentru estimator proiecţia ortogonală a vectorului de date din spaţiul N dimensional pe subspaţiul p dimensional Dacă vectorii h1ş ih2 sunt nu numai ortogonali ci şi ortonormali, ceeace presupune şi =hh 121= suma proiecţiilor vectorului estimator ML pe cei doi vectori ortonormali din 21 subspaţiul cu dimensiunea p=2, este TT ˆˆˆ=+ +ssshxhhxh ()() 12 11 22ML = proiecţie Folosind notaţii matriceale, relaţia anterioară devine TT ⎡⎤ ⎡⎤ 11Thx h ˆ== shh hh xHHx ⎡⎤ ⎡⎤ ⎢⎥ ⎢⎥ 12 12TT = ⎣⎦ ⎣⎦ hx h ⎢⎥ 22⎢⎥ ⎣⎦ ⎣⎦ Dar ˆ ˆ= sHθ şi deci ˆT =θHx relaţie valabilă pentru o dimensiune p oarecare, dar p<N Deoarece vectorii h sunt ortonormali, rezultă că H este o matrice unitară, pentru care matricea inversă este transpusa T HH I u= 22 11 Continuarea exemplului privind calculul coeficienţilor Fourier Vom presupune că N este un număr par şi că frecvenţa digitală a fundamentalei este 1/N Conform cu relaţiile stabilite în Cap 3 avem 1N− Tkk cos 2 sin 2 0nnππ==hh 12∑ 0nNN= 1N− 2kN 2T cos 2nπ== =hh h 11∑ 1 02nN= 2N T ==hh h 22 22 Calculând produsul N⎡⎤ 0TTT ⎡⎤ ⎡ ⎤ ⎢⎥ 111122TNhhhhh == HH h h I ⎡⎤ ⎢⎥ ⎢ ⎥ ⎢⎥ 12uTTT== ⎣⎦ 2Nhhhhh ⎥ ⎢⎥ 22122⎢⎥ ⎣⎦ ⎣ ⎦ 0 ⎢ 2⎢⎥ ⎣⎦ că23deducem vectorii h sunt ortogonali, dar nu ortonormali se pot determina acum estimatorii LS pentru amplitudinile a şi b T ⎡⎤ 1ˆ22a− hx 1TT T⎡⎤ ˆ θHH Hx Hx == = = ⎢⎥ () ⎢⎥ ˆT NNbhx ⎥ ⎣⎦ 2⎢ ⎣⎦ 1N− 2k⎡⎤ cos 2xn nπ [] ∑ ⎢⎥ 0nNN= ⎢⎥ = 1N− 2k⎢⎥ sin 2xn nπ [] ⎢⎥ ∑ 0nNN= ⎣⎦ În cazul general vectorii coloană h extraşi din matricea H nu sunt ortogonali şi estimatorul LS are expresia 1− ˆTT ˆ== =sHθHHH Hx Px () în care matricea P de dimensiuni NxN defită cu relaţia 1− TT =PHHH H () este simetrică şi idempotentă 2T =PPPP = 24; 12 Proiecţia vectorului x pe subspaţiul p dimensional este Px Matricea P nu este inversabilă, ceeace înseamnă că din relaţia de estimare LS ˆ= sPx nu putem reconstrui vectorul de date Aşa cum rezultă din figură, există mai mulţi vectori x care au aceeaşi proiecţie Dacă vectorul odată proiectat pe subspaţiu se proiectează a doua oară, rezultatul este acelaşi, adică 2 ==PPx Px Px () Idempotenţa este deci stabilită 25 Matricea de proiecţie P este pozitiv semidefinită Pentru a arăta acest fapt, construim forma pătratică 2TT T TT == =xPx xPx xPPx xPPx 2TN ≥∀∈Px Px Px x == 0, ()() şi ea este nenegativă, oricare ar fi vectorul x Vectorul de eroare ε este ortogonal pe subspaţiul p dimensional şi are forma ˆ=− = −−xsx Px I Pxε () u= Vectorul eroare aparţine subspaţiului complementar spaţiului de aproximare Matricea de proiecţie pe acest subspaţiu este, şi ea, simetrică şi idempotentă 2T ⊥⊥⊥⊥⊥ −= ==PIPP P P P; ; ()() u Se poate acum calcula minimul funcţiei J 1− TTTT⎡⎤ =− xxHHH Hx xxPx () () minJ=− ⎢⎥ ⎣⎦ ⊥ TTT⊥⊥ = xI PxxPxxPPx =− () u= 2T 2⊥⊥ ⊥ Px Px Pxε == = ()() 26 care este pătratul lungimii (norma) vectorului de eroare, ε 13 Stabilirea recursivă a modelului semnalului util, aplicând metoda LS În unele situaţii nu suntem siguri în ceea ce priveşte modelul aplicabil semnalului utilşi trebuie să adoptăm unul Dacă ne referim la datele experimentale din figură, putem încerca, succesiv, două modele pentru semnalul utilşi anume, mai întâi: =− [] 11 0,1, , 1sn A n N= șiapoi +=− [] 222 0,1, , 1sn A Bn n N= şi să ne hotărâm apoi care dintre ele este mai potrivit În mod evident, parametrii necunoscuţisuntA1ş i apoi cuplul A2, B2 respectiv Nu e greu să stabilim că cele două matrice de observare, H, corespunzătoare celor două modele de semnale utile sunt 27 110⎡ ⎤⎡⎤ ⎥⎢⎥ 111⎢ ⎢⎥⎢⎥ HH 12== ⎢⎥⎢⎥ ⎢⎥⎢⎥ 111N− ⎣⎦⎣⎦ În cazul primului model, aplicarea estimării conduce la ˆ 1Ax= Pentru al doilea model efectuăm calculele pentru aplicarea estimatorului LS 10⎡ ⎤ ⎢⎥ 11 1 1 1⎡⎤ T ⎢⎥ = HH ⎢⎥ ⎥ 01 1N⎢ − ⎣⎦ ⎢⎥ 11N− ⎣⎦ 11NN−− ⎡⎤ 1n ∑∑ ⎢⎥ 00 ⎢⎥ = 11NN−− 2⎢⎥ nn⎢⎥ ∑∑ 00⎣⎦ 1NN− ⎡⎤ () N ⎢⎥ 2 ⎥ ⎢ = 1121NN NN N−− − ⎢⎥ ()()( ) ⎥ 2826⎢ ⎣⎦ 14 Determinantul produsului are expresia 22 12 1 1NN N N N−− − ()( )() T =−HH 64 22 1NN− () = 12 Se poate acum inversa matricea produs 12 1 1NN N NN−− −⎡⎤ ()()() − ⎢⎥ 1− 1262 T ⎢⎥ = HH () 22 11NNNN− ⎢⎥ () − () N− ⎢⎥ 2⎣ ⎦ 22 16N⎡− ⎤ () − ⎢⎥ 11NN NN++ () () ⎢⎥ = 612⎢⎥ − ⎢⎥ 2 11NNNN+ () − ⎢⎥ () 29⎣⎦ Calculăm produsul 1N− 0x⎡⎤ [] ⎡⎤ xn⎢⎥ [] ∑ ⎢⎥ [] 0111 1Tx⎡⎤ ⎢⎥ ⎢⎥ Hx == ⎢⎥ 1N− ⎢⎥ 01 1N⎢⎥ − ⎣⎦ nx n⎢⎥ [] ⎢⎥ ∑ [] ⎢⎥ 01xN− ⎣⎦ ⎣⎦ Înlocuind în relația de calcul a estimatorului LS șiobținem 122 16NN− ⎡− ⎤ () ⎡⎤ ⎢⎥ xn− [] ∑ ˆ11NN NN⎢⎥ ++ ⎡⎤ () () 02A⎢⎥ ⎢⎥ = ⎢⎥ ⎢⎥ 1ˆ612N− ⎢⎥ 2LSB⎢⎥ ⎣⎦ − ⎢⎥ [] ∑ 2nx n⎢⎥ 11NNNN+ () ⎢⎥ () 0− ⎣⎦ ⎣⎦ 11NN−− 22 16N⎡− ⎤ () xnnxn− [][] ∑∑ ⎢⎥ () () 0011NN NN++ ⎢⎥ = NN−−11 612⎢⎥ −+ xnnxn⎢⎥ [][] 2∑∑ () − ⎢⎥ 0011NNNN+ () ⎣⎦ 30 Aceste formule de estimare au fost deduse și în Cap 2 15 În figură sunt arătate datele (stabilite prin măsurare) şi cele două modele pentru semnalul util Se observă că “potrivirea” dintre date şi model este mai bună pentru al doilea model, cel cu doi parametri Pentru fiecare model se determină Jmin Pentru primul model avem J1min Pentru al doilea model se calculează J2min<J1min Dacă se consideră un model parabolic cu necunoscutele A3, B3ș iC3, puteam obţine J3min, etc Vom adăuga noi termeni modelului, până ce scăderea valorii Jmin este nesemnificativă În acest fel stabilim parametrii modelului pentru semnalul util Trebuie spus că adăugând în model prea mulţi termeni, acesta se va “potrivi” nu numai cu semnalul util ci şi cu zgomotul, ceea nu este de dorit 31ce Estimarea secvenţială prin metoda celor mai mici pătrate Îmbunătăţirea modelului semnalului util prin adăugarea de noi termeni, ar fi bine să se facă în mod recursiv, utilizând rezultatele obţinute pentru un model mai simplu Vom aplica metoda LS în cazul unei matrice H de dimensiuni Nx(k+1), utilizând soluţia obţinută în cazul unei matrice H de dimensiuni Nxk Considerăm modelele succesive de semnal util −≤≤ [] snA MnM=11 −≤≤ [] snABn MnM=+222 Pentru primul model matricea H se reduce la vectorul 1, în timp ce pentru al doilea model de semnal 1M− ⎡⎤ ⎢⎥ 11M−− () ⎢⎥ H 2= ⎢⎥ ⎢⎥ 1M ⎣⎦ Avem 1M− ⎡⎤ ⎥ 11 111M⎢ ⎡⎤ () T−− ⎢⎥ HH 22= 1MM M⎢⎥ −−− ⎢⎥ () ⎣⎦ 32⎢ ⎥ 1M ⎣⎦ 16 M ⎡⎤ 1021 0M+ ⎡⎤ ∑ ⎢⎥ MT− ⎢⎥ ⎢⎥ HH ++ ()( ) 2212 1MMM M== ⎥ ⎢⎥ 20⎢ ⎥ 06n⎢ ⎣⎦ ∑ ⎢⎥ M− ⎣⎦ Pentru cele două modele estimatorii LS sunt M 1ˆ ˆAx= [] 2 ∑ 1Axn x== + 21nMM=− M nx n [] ∑ ˆnM=− 2MB= 2 n ∑ nM=− Dacă vectorii h sunt ortogonali (sau ortogonalizați prin procedura Gram- Schmidt), se arată că sunt aplicabile relații de calcul recurent Dacă Hkeste matricea de observare de dimensiuni Nxk iar Hk+1este matricea de dimensiuni Nx(k+1), atunci 1− ˆTTT θHH Hx DHx () kkkkkk== T ˆˆ −xHθxHθ ()() minkkkkkJ =− ⎡⎤ HHh = 3311kkk+ + ⎣⎦ 17